AI Papers Daily

#linear probe

4 篇

To Think or Not to Think: Pre-Decisional Reasoning Budgets for Referring Audio-Visual Segmentation

指代音视频分割中基于预决策表征的推理预算控制

🧭 自适应推理 · 生成前隐状态路由

Tongji University · IEIT SYSTEMS (Beijing) Co., Ltd.

发现过长思维链对简单查询有害，利用生成前隐状态线性探测路由器省60% token且保留96%性能

📌 工作参考价值（4 点）

• 在 LLM-powered 推荐或 Agent 工作流中，不要默认所有 query 都走长 CoT/多步工具调用：简单 query 可能因过度推理产生 phrase 或 localization drift。可设计基于模型生成前隐状态（首 token 前的 state）的轻量路由器，判断是否需要深度推理。
• 用线性探针对内部表征做二分类，比基于文本特征或不确定性 proxy 信号更有效；且只需单次前向，无需额外生成，适合在线低成本决策。
• 报告的 60% token 减少且保留约 96% always-long 性能，可作为成本-质量 trade-off 的实用参考；对推理成本敏感的电商/广告 Agent 场景值得尝试类似的 pre-decisional routing。
• 该工作是 Ref-AVS 任务，未在推荐系统上实验；但思想可迁移到 RAG 是否检索、长上下文是否展开、多步推荐解释生成等自适应推理控制。

Reasoning | 2026-10-15 | cs.MM | score 6/10

adaptive reasoningchain-of-thoughtmultimodalroutingoverthinkinglinear probe

A Probe Direction Is a Property of Its Prompt

探测方向是其提示的属性

🧭 模型评估 · 线性探测可靠性

Devoteam

线性探测评估中“宣布评估”的提示措辞主导探测分数，单提示设计不可靠

📌 工作参考价值（4 点）

• 业务中用 LLM 做评估（推荐理由生成、搜索结果排序、Agent 能力评测）时，别把某个“标准提示模板”当作唯一测量工具：提示措辞会直接改变评估结论甚至模型相对排名。应把提示视为随机因子，准备多个语义等价变体，报告跨提示方差。
• 模型选型或 A/B 测试之前，不要只增加评估样本数量来提升可靠性：样本增加无法修复由提示选择带来的系统偏差；优先增加提示多样性，并估算达到可接受信度所需的最少提示数。
• 警惕表面形式捷径：如果模型或裁判模型只依赖格式、关键词等表面特征就能通过评估，说明测量可能没有捕捉真实能力。在设计自动化评测时加入表面形式对照组，检查得分是否真的反映目标能力。
• 跨模型比较必须采用多提示设计：在电商搜索/推荐场景中，不能用一个提示下的准确率对比 LLM 选型或推荐文案生成质量；应根据论文给出的提示数量规划，避免单提示结论误导上线决策。

Eval | 2026-08-13 | cs.LG | score 6/10

probingLLM evaluationprompt sensitivitylinear probemeasurement

LLMs Encode Relevance as a Layer-Wise Cross-Lingual Signal

LLM 的相关性信号呈逐层跨语言编码

🧭 LLM 内部相关性表征分析

The University of Queensland

线性探针可从 LLM 残差流激活中解码查询-文档相关性，中间层最准，且常优于模型直接生成的判断

📌 工作参考价值（4 点）

• 用探针替代显式 prompt 判断：在排序或过滤阶段，直接从 LLM 中间层提取相关性信号，可能比模型生成的标签更稳定，尤其当显式输出不可靠时（如长文档、多语言场景）。
• 层监控辅助决策：观察中间层探针准确率，可早期判断“模型内部是否已识别出相关性”，即使最终生成错误标签，也能触发 fallback 逻辑。
• 跨语言召回增强：虽然跨语言迁移弱于同语言，但部分层表现出的可移植性为多语言推荐系统提供了一种低成本扩展路径——可先用英文数据训练探针，再适配目标语言。
• 轻量级 reranker 设计：线性探针几乎零推理开销，可部署为粗排或特征信号，结合模型生成结果提升整体排序质量。

RecSys | 2026-07-17 | cs.IR | score 6/10

linear proberelevance decodingcross-lingualLLM judgmentretrieval evaluationresidual stream

Future Confidence Distillation in Large Language Models

大语言模型中的未来置信度蒸馏

🧭 LLM 置信度校准的时序提前预测

University of California, Los Angeles

利用回答后隐藏状态训练探针作为教师，将置信度信息蒸馏到回答前表征，实现低延迟高校准的置信估计

📌 工作参考价值（4 点）

• 在 RAG、工具调用或 Agent 决策中，可在生成回答前用模型中间层 hidden state 快速预判置信度，决定是否触发检索或回退，大幅降低时延
• 训练一个轻量线性探针，以回答结束后的正确性探针（教师）产生的置信度为蒸馏目标，样本效率极高，少量标注即可获得校准良好的提前置信度估计
• 探针只需预解层表征，可用于流式推理或早期退出，适合对延迟敏感的生产环境，如电商搜索中的即时置信判断
• 方法在域内数据集间具有迁移性，可在部分 query 类型上训练，泛化到同类场景，降低维护成本

Eval | 2026-07-08 | cs.CL | score 7/10

confidence distillationcalibrationlinear probemetacognitionLLMpre-solution